Журнал
Научно-технический вестник информационных технологий, механики и оптики
УДК:004.89
Номер:6 (158)
Скачать PDF0 Кбайт
Многозадачное обучение на основе префиксов для устойчивого текстового поиска
Аннотация:
Введение. Экспоненциальный рост цифровой информации требует устойчивых методов текстового поиска, поскольку большинство методов направлено на решение конкретной задачи или домена, что ограничивает их использование. Решением в таком случае могут являться многозадачные модели, требующие использования методов разделения задач. Многие исследования изучают многозадачное обучение для улучшения обобщения и фокусируются на больших моделях. Вместе с тем в реальных задачах речевой аналитики, требующих поиска среди сотен миллионов векторов в реальном времени, более подходящими становятся модели меньшего размера. Метод. В работе представлен новый подход к повышению устойчивости многозадачных моделей текстового поиска на основе префиксов. Применяется контрастное обучение как для многозадачных, так и однозадачных моделей-энкодеров. Выполнено сравнение моделей на устойчивость и проанализирована эффективность различных стратегий использования подсказок, включая жесткие, представленные явными инструкциями на естественном языке (инструктивные префиксы), и мягкие подсказки разной длины, представленные специальными токенами модели (обучаемые префиксы) разной длины. Эксперименты выполнены с применением подсказок как к запросу и кандидату, так и отдельно к запросам, для повторного использования предварительно закодированных кандидатов в многозадачном поиске без значительной потери качества. Основные результаты. Проведено сравнение полученных результатов по метрикам R@1, R@5 и MRR, являющимися наиболее применимыми для оценки поисковых моделей внутри и вне домена обучения. Однозадачные модели показали себя лучше при работе с данными в пределах домена обучения. Многозадачные модели продемонстрировали лучшую применимость на данных вне домена обучения, что подчеркивает их повышенную устойчивость к его смене. Для сохранения этого свойства в данной работе рассмотрено применение префиксов к обоим элементам — запросу и документу, что обеспечивает лучшую устойчивость, чем их обособленное применение к запросу. Обучаемые префиксы оказались более предпочтительными по сравнению с инструктивными, поскольку они лучше адаптируют модель к различным доменам. Обсуждение. Результаты исследования могут быть полезны для улучшения моделей текстового поиска, особенно в сценариях, связанных с многозадачными системами, где требуется высокая адаптивность и производительность на новых данных. Обучаемые префиксы могут быть эффективным инструментом повышения устойчивости моделей в различных приложениях, таких как информационный поиск и системы вопросов-ответов.
Ключевые слова:
Постоянный URL
Статьи в номере
- Разработка и изготовление коллимирующей волоконной сферической микролинзы для системы вывода излучения из радиофотонных компонент в оптическое волокно
- От триасового периода к современности: спектроскопия комбинационного рассеяния света для дифференциации ископаемых смол различного возраста
- Оптимизация геометрии двумерного фотоннокристаллического волновода для телекоммуникационных применений и сенсорики
- Разработка и исследование способов подавления аддитивных шумов в волоконнооптических интерферометрических датчиках
- Методика компенсации постоянной составляющей шумов рефлектограммы волоконно-оптической линии связи в условиях недостаточного динамического диапазона оптического рефлектометра обратного рассеяния во временной области
- Исследование метода измерения веса подвижных объектов на основе квазираспределенных волоконных решеток Брэгга с температурной компенсацией
- Современные оптические методы бесконтактных геометрических измерений и восстановления 3D-формы поверхности объектов: обзор
- Спектрально-люминесцентные свойства серебряных кластеров Ag1–5 в ионообменном слое силикатного стекла
- Формирование толстого слоя ε-Ga2O3 на подслое GaN с V-дефектами на границе раздела
- Модель обеспечения непрерывности безопасного функционирования системы прослеживаемости качества продукции в условиях неустойчивой коммуникации
- Применение марковских цепей Монте-Карло и машинного обучения для поиска активного модуля в биологических графах
- Обнаружение дефектов твердых поверхностей при ограниченном объеме данных на основе SSD-детектора и сиамских сетей
- Анализ настроений арабских твитов с использованием контролируемого машинного обучения
- Параметрический корпус русского языка RuParam
- Сравнительный анализ сгенерированных и оригинальных аннотаций научных статей по филологической тематике
- Повышение безопасности Kubernetes с помощью машинного обучения: проактивный подход к обнаружению аномалий
- Улучшение вопросно-ответных систем в области программирования с дообучением языковых моделей на структурированных разнородных данных онлайн-форумов
- Язык спецификации взаимодействия автоматных объектов
- Особенности организации игрового взаимодействия асимметричных агентов с использованием графовых нейронных сетей
- Разработка и моделирование технологической схемы установки паровой конверсии метана с кислородным сжиганием топлива и улавливанием углекислого газа
- Исследование стабильности гибридной МОП-мемристорной памяти с использованием модифицированного метода оптимизации роя частиц
- Анализ уязвимости нейросетевых моделей YOLO к атаке Fast Sign Gradient Method